第一步：下载pca_exercise.zip，里面包含有图像数据144*10000，每一列代表一幅12*12的图像块，首先随见展示200幅： 第二步：0均值处理，确保数据均值为0或者接近0 第 ...

基于自动编码机（autoencoder）,这里网络的层次结构为一个输入层，两个隐层，后面再跟着一个softmax分类器: 采用贪婪算法，首先把input和feature1看作一个自动编码机，训练 ...

1.引言 卷积神经网络（Convolutional Neural Networks , CNN）受到视网膜上的细胞只对视野范围内的部分区域敏感，这一部分区域称为感受域（receptive field ...

在很多情况下，我们要处理的数据的维度很高，需要提取主要的特征进行分析这就是PCA（主成分分析），白化是为了减少各个特征之间的冗余，因为在许多自然数据中，各个特征之间往往存在着一种关联，为了减少特征之间 ...

到目前为止，已经叙述了神经网络的监督学习，即学习的样本都是有标签的。现在假设我们有一个没有标签的训练集，其中. 自动编码器就是一个运用了反向传播进行无监督学习的神经网络，学习的目的就是为了让输出值和输 ...

1.自动编码器 自动编码器首先通过下面的映射，把输入 $x\in[0,1]^{d}$映射到一个隐层 $y\in[0,1]^{d^{'}}$（编码器）： $y=s(Wx+b)$ 其中 $s$ 是非 ...

在前面的讨论中，用到的激励函数都是sigmoid函数： 以为最终的输出层所有输出的范围是[0,1],而我们在自编码学习的动机就是使得输出等于输入，于是所有输入必须调整到[0,1]范围内，但是问题 ...

1.引言 一个多层感知机（Multi-Layer Perceptron，MLP）可以看做是，在逻辑回归分类器的中间加了非线性转换的隐层，这种转换把数据映射到一个线性可分的空间。一个单隐层的MLP就可 ...

考虑一个监督学习问题，现在有一些带标签的训练样本(x(i),y(i)).神经网络就是定义一个复杂且非线性的假设hW,b(x)，其中W,b 是需要拟合的参数. 下面是一个最简单的神经网络结构，只含有一 ...

假设给定m个训练样本的训练集，用梯度下降法训练一个神经网络，对于单个训练样本(x,y)，定义该样本的损失函数： 那么整个训练集的损失函数定义如下： 第一项是所有样本的方差的均值。第二项是一 ...